The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning
LLM 强化学习的真实目标：面向推理策略的单调改进
🧭 LLM RL 训练-推理对齐 ★ 深度解读
Tianjin University · Alibaba
提出 MIPI 原则与两步框架 MIPU，在训练-推理不匹配下直接优化推理策略，实现稳定高效 RL 训练
📌 工作参考价值（4 点）
- 在电商/搜索推荐系统的 LLM 后训练中，训练引擎与推理引擎不一致（如量化部署）会导致训练策略改善 ≠ 推理策略改善，MIPU 的两步机制（采样器参考更新 + 推理间隙验收）可直接嵌入 GRPO 流程，提升稳定性
- Step 1 的 TIS 式截断重要性权重可替代标准 GRPO 裁剪，分离历史不匹配与当前更新，降低梯度方差，适用于任何基于采样优势的 RL 微调场景
- Step 2 使用验证集上的后更新间隙代理 bTpost 作为接受/回滚信号，可在线上 AB 测试前筛选有害的同步模型，避免部署退化模型，尤其适合 Agent 系统中的多步决策或量化推理
- 动态接受阈值策略（起步宽、逐渐收紧）平衡早期探索与后期保护，在推荐模型持续学习时值得借鉴，防止过早收敛或训练宕机